Pemrograman Prosesor Paralel Besar: Pendekatan Praktis: Model Eksekusi CUDA: Host vs. Device

Model eksekusi CUDA mengubah komputer Anda menjadi sistem heterogen berkinerja tinggi. Bayangkan sebuah Direktur Utama (Host/CPU) dan sebuah Pasukan Ribuan (Device/GPU). Sang Direktur menangani logika dan pengambilan keputusan yang kompleks, sementara Pasukan melakukan tugas besar dan berulang secara bersamaan.

1. Pembagian Arsitektur

Sistem Host adalah CPU yang dioptimalkan untuk latensi, dirancang untuk alur kontrol yang kompleks dan tugas serial. Sebaliknya, sistem Device adalah GPU yang dioptimalkan untuk throughput, yang berisi ribuan inti sederhana yang dirancang untuk mengeksekusi instruksi yang sama di seluruh dataset besar secara bersamaan.

2. Ritme Eksekusi

Program CUDA berfungsi sebagai serangkaian fase. Eksekusi dimulai pada Host untuk "kode serial." Ketika program mencapai "Kernel Paralel," ia meluncurkan sebuah Grid dari thread ke Device. Kontrol kembali ke Host setelah Device menyelesaikan beban kerjanya yang sangat besar.

3. Spesialisasi Kinerja

Model ini memanfaatkan kekuatan dari keduanya: CPU mengelola sumber daya sistem dan cabang yang kompleks, sementara GPU mengeksekusi SPMD (Program Tunggal, Data Banyak) logika untuk memproses elemen data secara paralel.

TERMINALbash — 80x24

> Ready. Click "Run" to execute.

QUESTION 1

Which architecture is characterized as being 'throughput-optimized'?

The Host (Intel® CPU)

The Device (NVIDIA® GPU)

The System RAM

The PCIe Bus

QUESTION 2

The reader should complete Part 1 of the MatrixMultiplication() example in Figure 3.6 with similar declarations of an Nd and a Pd pointer variable as well as their corresponding cudaMalloc() calls. Furthermore, Part 3 in Figure 3.6 can be completed with mandatory calls.

float *Nd, *Pd; cudaMalloc((void**)&Nd, size); ... cudaFree(Nd);

float Nd, Pd; malloc(&Nd, size); ... free(Nd);

float *Nd, *Pd; cudaMemcpy(Nd, Pd, size); ... delete Nd;

int Nd, Pd; Nd = new float[size]; ... free(Nd);

QUESTION 3

In the CUDA execution model, where does a program always begin its execution?

On the Device (GPU)

Simultaneously on both

On the Host (CPU)

In the Global Memory

QUESTION 4

What happens when the Host encounters a phase with rich data parallelism?

It speeds up its clock frequency.

It launches a Kernel onto the Device.

It stores the data in the Host Cache.

It converts the code to Python.

QUESTION 5

A student attempts to launch a 1024x1024 matrix multiplication on G80 hardware using 1024 blocks, where each thread calculates one element. Why will this fail?

The G80 cannot handle 1024 blocks.

The total number of threads exceeds 1 million.

The configuration results in 1024 threads per block, exceeding the 512 hardware limit.

Matrix multiplication is not data parallel.